Nguyễn Phi Hùng quê ở xã Thọ Nam, huyện Hoài Đức, tỉnh Hà Đông (nay thuộc thành phố Hà Nội). Tháng 5 năm 1961, sau khi tốt nghiệp cấp ba trường Trung học phổ thông Chu Văn An và có giấy gọi vào Đại học, ông quyết định tham gia quân ngũ.[2]

Ban đầu, ông được đào tạo bay tại Trung đoàn Không quân 910. Đến tháng 7 năm 1961, ông được cử sang Liên Xô học lái. Năm 1967, hoàn thành đào tạo, trở về đơn vị, lần lượt được điều chuyển qua các đơn vị trung đoàn Trung đoàn 919, 910 và 923.

Ngày 7 tháng 10 năm 1967, ông bắn hạ một chiếc F-4 của Mỹ ở Vĩnh Phú. Ngày 6 tháng 11, ông lại hạ một chiếc F-105. Ngày 19 tháng 11 năm 1967, ông cùng biên đội bay bắn hạ 3 máy bay Mỹ ở vùng trời Hải Phòng. Trong đó, đích thân ông hạ một chiếc F-4. Ngày 19 tháng 12, ông lại bắn hạ một chiếc F-105.[2]

Tháng 7 năm 1968, ông cùng đơn vị được chuyển vào Quân khu 4 để bảo vệ các tuyến đường giao thông huyết mạch. Ngày 9 tháng 7 năm 1968, trên vùng trời Nghệ An - Hà Tĩnh, sau khi bắn hạ một chiếc F-8E, ông trúng đạn hy sinh. Khi đó ông đang mang quân hàm Thượng úy, giữ chức vụ trung đội trưởng lái máy bay thuộc Đại đội 2, Trung đoàn 923, Sư đoàn 371.[2]

Phi công Nguyễn Phi Hùng được Nhà nước tặng thưởng một Huân chương Huân chương Quân công hạng Ba, một Huân chương Chiến công hạng Nhất, một hạng Ba. Ngày 20 tháng 12 năm 1994, phi công Nguyễn Phi Hùng được Chủ tịch nước Cộng hòa xã hội chủ nghĩa Việt Nam Lê Đức Anh truy tặng danh hiệu Anh hùng Lực lượng vũ trang nhân dân.[2]